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> О чем доклад 


• Истории в Юле – что это? 

• Архитектура и инструменты 

• О Redis подробно 

• С какими проблемами столкнулись 


Результаты 
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(> Что такое Юла 
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RPS в MongoDB 
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Зачем? 


НАМ НУЖНЫ ИСТОРИИ КАК В ИНСТЕ 


ЭТО ГЕНИАЛЬНО 


Зачем 


е Рассказать O себе Видео-селфи 


Больше доверия кв 


16 300Р 1300 P 


Золотое кольцо об... Карликовый кролик... 
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Зачем 


e Рассказать о себе 


Новый формат - видео 


(A Елена A. 


13 просмотров 


2990Р 
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Зачем 
e Рассказать о себе 
• Новый формат – видео 


- Повысить доверие к продавцу 
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Особенности 
историй на Юле 


Истории создают сами пользователи 
Контент проходит модерацию 

Лента историй персонализирована 
Храним данные о просмотрах историй 
Высокая скорость ответа 
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Интересное рядом 


1300P 


Карликовый кролик... 


<> tona.tech 


(> Терминология 


История 
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Терминология 


История Группа историй 
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Терминология 
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> Публикация истории 


Модерация 
> ой 2 2 2 
видео 
Обработка 
видео 
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(> Публикация историй лии 


Сохраняем в БД 
Меда 


Загружаем медиа Storage 
Модерируем 


Service 
Обновляем ленты 


Публикуем историю Moderation 
N API 
подписчиков 


Storage 


Subscription 
Service 


Storage 


Просмотр историй 


- Персональная лента ee m 

. Сортировка по новизне n 
N ll 

- Учитываются 2200 AS 
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просмотренные истории 
- Статистика просмотров 


Интересное рядом 
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(> Просмотр историй З > 


Получаем список групп для ленты 

Получаем контент по каждой 

группе 

Получаем просмотры АР! 


пользователей для каждой группы 
Формируем ленту 


Список Контент Просмотры 
групп групп в группе 
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Redis 
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> Standalone 


> Sentinel 


> Sentinel 


> Redis Cluster 


Redis Cluster B Юле 


• 3 дата-центра 


Redis Cluster B Юле 


• 3 дата-центра 
• Мастера равномерно 
распределены по ДЦ 


Master 1 Master 10 


Master 11 Master 20 


Master 21 Master 30 


Redis Cluster в Юле me 
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• 3 дата-центра 

• Мастера равномерно 
распределены по ДЦ 

• 2 реплики в других ДЦ 


Master 1 


J 
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Replica 1-2 


Redis Cluster B Юле 


AU 1 


> 


• 3 дата-центра 

• Мастера равномерно 
распределены по ДЦ 

- 2 реплики в других ДЦ 

• Нодь не более 21 6 


Master 1 


J 
в 
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Replica 1-2 


Redis Cluster 


[root@user-mem1-1 ~]# redis-cli -h 192.168.1.1 -p 6701 cluster nodes 
e90d8575d80aef8962ccd99d090001d3877d7dd0 192.168.1.1:6707 016707 master - 0 1615477439000 73 connected 3277-4914 

6eb0dbc092795081b1 dcd3e51 96c7024af9e99ee 192.168.1.2:6701 @16701 myself, slave 20045bdf6c7205fccc3c807cda7d72feb8050efe 0 1615477440000 1 connected 
29407b26df1455a301 236770946241 bicf6e0a8b 192.168.1.3:6703@ 16703 slave 20045bdf6c7205fccc3c807cda7d72feb8050efe 0 1615477441555 86 connected 
5e146cea01d19b702ab715bf68be023c09318b5b 192.168.1.3:6704@ 16704 slave 20045bdf6c7205fccc3c807cda7d72feb8050efe 15477440635 86 cogne~sd 
808bb2ff95c3c563d4287a3d022f17dc04344123 192.168.1.2:6708@16708 master - O 1615477443061 53 connected 4915-6: 
137fdb7a261e6d6ed6cb76ff8515276adb57d84c 192.168.1.3:6705@ 16705 slave 20045bdf6c7205fccc3c8! 
1988915712aac2bdfa868f7120a89130678c0b04 192.168.1.2:67070 16707 master - 0 1615477439023 5 
f7b8a693bd016214212657262e3e205f1db657e0 192.168.1.3;6707 @ 16707 slave 20045bdt6c7205fcc: 
ab744a355baf3ca6ab642a97d887fcc31ebc75b5 192.168.1.3:6706 @ 16706 master - 0 16154774430 
8fa44915430f5b2d70ddbb9ba2955de234ff91f0 192.168.1.1:67030 16703 slave OcO0ebcd420c7938 
Oc0ebcd420c7938b9db728750b9e4be567a8b218 192.168.1.2:6709@ 16709 master - 0 16154774 
73cf5c0a82dftt3c2f8777c5cebfb0a95f899c97 192.168.1.1:6710@16710 slave 7b95372769dadafi 
£7558692766a0176bbf51dc290985b5a431f9fal 192.168.1.1:67050 16705 slave ab744a355baf 
20045bdf6c7205fccc3c807cda7d72feb8050efe 192.168.1.2:67060 16706 master - 0 1615477. 
9d7d119323396ea37fed8a9dedf909a2f620a79d 192.168.1.3:67090 16709 slave 20045646 
1810c45bb4affOef01cc3c349609480a5c692b8a 192.168.1.1:6702@ 16702 slave 808bb2ff9 
cf80abee25ebbef0ed1 20cf1cc192255bed76200 192.168.1.2:6703@16703 slave 20045bd 
f7196e879ad2746d5fb26350eb3e9cf77e48e647 192.168.1.3;67020 16702 slave 20045) 
637b29b68e95721fa0c2d431 be1a8732acb80a86 192.168.1.3:6701 (016701 slave 20! 
1cfb8d3bd6cd3bb009a15eb28a1de578fb8e1209 192.168.1.1:67060 16706 master 
3b4e398d1f40166c9509667c9ca956d3ce30ftd2 192.168.1.1:67090 16709 5! 
98b7fd8fe1 9b83a1 c8d39bfe7e78b3b052020960 192.168.1.2:67050 16705 
258a4e2d907aa47 188984a207ae8664a6da0b817 192.168.1.2:6704@ 167 
1fd9b91b95d001723c24df027bf2b3ee125a3325 192.168.1.3:6708 0167 
06f70fa8e100389c110019b4fd6c19b1fff3c8ba 192.168.1.1:6704@ 167 
04139da5c49ebb12d65775cf0ebe41d3f276de4d 192.168.1.2:6702@1 
88b2d834ec830e15016b9a672148ddf17ca89f7e 192.168.1.2:6710@1 
7b95372769da4af804fb60c4ba0db2ff77f0ea2d 192.168.1.3;6710016 
4dee5686ed3317be35625162624e8ce2bb0dc9e0 192.168.1.1:67080 
d2987984f49a783a77ae5e57f057ae2fc8326af9 192.168.1.1:6701 @1€ 


Redis Cluster Tool 


e Мастер и реплика находятся SZ 


в одном ДЦ Master 1 


Redis Cluster Tool 


e Мастер и реплика находятся SZ 


в одном ДЦ Master 1 


Redis Cluster Tool 


e Мастер и реплика находятся SZ 


в одном ДЦ Master 1 
e Несколько реплик в одном ДЦ 


Replica 1-1 Replica 1-2 


Redis Cluster Tool 


e Мастер и реплика находятся SZ 


в одном ДЦ Master 1 
e Несколько реплик в одном ДЦ 


Redis Cluster Tool дія 
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Мастер и реплика находятся 

в одном ДЦ 

Несколько реплик в одном ДЦ 
® У мастера нет реплики 


Мазтег 1 


в соседних ДЦ 


Redis Cluster Tool дія 


»- 


Мастер и реплика находятся 

в одном ДЦ 

Несколько реплик в одном ДЦ 
® У мастера нет реплики 


Мазтег 1 


в соседних ДЦ 


Replica 1-2 


Redis Cluster Tool eee 
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Мастер и реплика находятся 
в одном ДЦ 

Несколько реплик в одном ДЦ 
У мастера нет реплики 


Master 1 Master 12 


в соседних ДЦ 
Мастеров на сервере для 
кластера >12 


Redis Cluster Tool 


Мастер и реплика находятся 
в одном ДЦ 

Несколько реплик в одном ДЦ 
У мастера нет реплики 

в соседних ДЦ 

Мастеров на сервере для 
кластера >12 

Всего мастеров на одном 
сервере > 37 (для 56 ядер) 


Redis Cluster 1 


Master 1 


Master 1 


19*Master 


Redis Cluster 2 


Master 37 


Master 37 


19*Master 


Проблемы и их 
решения 
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> Пользовательский контент 


< юлажесі 


Как хранить данные? 


• Сортировка персональной ленты 
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Как хранить данные? 


• Сортировка персональной ленты 
• Хранить ID просмотренных историй 


для каждого пользователя 
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Как хранить данные? 


• Сортировка персональной ленты 
• Хранить ID просмотренных историй 
для каждого пользователя 


e Сортировка историй внутри группы 
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Типы данных в Redis 


+ String 

• List 

• Назћ 

* Set 

• Sorted set 

• Bitmap 

• HyperLogLog 
MTA. 
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Sorted Set 


MEMBER (ID) SCORE (TIME) 


5d8115aaaaa 1620000111 


5d8115bbbbb 1620000222 


Sorted Set 


MEMBER (ID) SCORE (TIME) 
5d8115aaaaa 1620000111 
5d8115bbbbb 1620000222 
50911565566 1620000333 


ZADD в группу 


МЕМВЕВ (10) SCORE (TIME) 


5d8115aaaaa 1620000111 


5d8115bbbbb 1620000222 


MEMBER (ID) SCORE (TIME) 


5d8115bbbbb 1620000333 


5d8115aaaaa 1620000222 


Интересное рядом 


ZADD в ленту 


String 


• Объект истории 
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String 


• Объект истории 
• Счетчик просмотров 


String 


• Объект истории 
• Счетчик просмотров 
• ID просмотренных историй 
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Просмотр истории 
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Просмотр истории 
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(> Оптимизация количества запросов 


story:%s:object 


story:%S:views 
М * GET 


user:%S:%5S:vieW 


“> tona.tech 


(> Оптимизация количества запросов 


istory:%s :object 
‘story:%s :views 
1“ MGET 


‘user:%s :%s:view 
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Оптимизация скорости ответов 


гед15 127.0.0.1:6379> SLOWLOG GET 


1) 3) (integer) 19847 (19.8ms) 
4) 1) “CLUSTER” 
2) "SLOTS" 


Оптимизация скорости ответов 


Master 1 


> 
0 .. 5500 


Master 2 


HASH SLOT = CRC16(“KEY”) MOD 16384 А е. 5501 .. 11000 
HASH_SLOT = 12539 be “ й 


Master 3 


> j 
11001 .. 16383 


Оптимизация скорости ответов 


• Кэшировать слотмапы на клиенте 
• Использовать библиотеки с кэшированием 


Оптимизация скорости ответов 


(> Оптимизация хранения списков 


list-max-ziplist-entries 1 
zset-max-ziplist-entries 1 
hash-max-ziplist-entries 1 
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(> Оптимизация хранения списков 


list-max-ziplist-entries 1 
zset-max-ziplist-entries 1 
hash-max-ziplist-entries 1 
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(> Проблема «Бибера» 


"Who the fuck 1$ Justin Bieber?" 
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«Бибера» 
< Проблема 
> 


Проблема «Бибера» 


кете 100k - 100kk 


Проблема «Бибера» 


кете 100k - 100kk 


Результаты 
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(> Результаты 
30. 4. 70. 
Ma 292 A 


—-s 
RPS CPU Ha Hony время ответа 
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Вопросы? 


Александр Инякин 
a.inyakin @ согр.тай.ги 
t.me/iskender_gen 


www.youla.dev 
t.me/youlatech 
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